标签:model collapse
-
合成数据的边界:model collapse 与自产自销数据的退化机制
用模型自己生成的数据训下一代模型,表面上省钱,数学上却是分布向均值收缩的递归过程。这篇推导 model collapse 的高斯玩具模型,区分"尾部消失"与"全部退化"两个阶段,再讨论合成数据真正安全的用法。
用模型自己生成的数据训下一代模型,表面上省钱,数学上却是分布向均值收缩的递归过程。这篇推导 model collapse 的高斯玩具模型,区分"尾部消失"与"全部退化"两个阶段,再讨论合成数据真正安全的用法。